（图片来源网络）
“手如柔荑，肤如凝脂，领如蝤蛴，齿如瓠犀，螓首蛾眉，巧笑倩兮，美目盼兮。”——《国风·卫风·硕人》
壁画 ，是人类历史上最早的绘画形式之一。古代壁画多出现在石窟、墓室或是寺观，记载了各个朝代和民族的社会习俗、风貌，具有极高的历史、科学和艺术价值。
中国最早的壁画距今已有2万年，由于其自身极其脆弱的存在方式、自然环境、人为因素加上岁月迁延，许多壁画的损毁情况严重，因而被称为：行将消失的国宝。
传统的壁画修复只能尽量延缓壁画状态的恶化，但要修复其原来面目，难度极高。近年来，数字图像技术为古代壁画的修复和虚拟复原提供了科学依据、测试环境和数字档案，也使我们有幸继续感受这跨越千年的辉煌与沧桑。
为了探究深度学习算法在数字壁画修复上的应用前景及问题，秀秀访问了《中国图象图形学报》的两位作者----西南林业大学的强振平老师 和云南大学的徐丹老师 ，希望更多研究者关注古代壁画修复技术。
秀秀 ：相比于传统方法，数字壁画修复的优势有哪些？
强老师 ：在实际壁画保护过程中，如果艺术家直接对壁画进行修复，出现问题将是不可弥补的，因此要求壁画修复过程不能伤害壁画本身。而近年来，先通过数字图像技术对壁画进行模拟修复，再通过人机互动辅助实际的修复可以有效地帮助壁画的实际保护。 强老师 ：如图1是对博尔哈的Santuario de Misericordia教堂墙上壁画的破坏性修复示例 ，左边图片是壁画2010年的样子，中间是它2012年7月破损后的样子，右边的则2012年8月被修复后的样子。
图1 壁画的破坏性修复实例图
秀秀 ：现有数字壁画修复方法存在哪些困难和问题？ 徐老师 ：对于小区域的壁画修复，通过传统的基于扩散的方法一般就可以取得好的结果。而对于大区域的数字壁画修复，有效的方法主要有两类： 徐老师： 一类是基于纹理合成技术 的方法 ，这类方法在纹理细节修复中可以取得好的效果，但是对于图像的全局结构、图像的语义很难捕获。 徐老师 ：另一类是基于外部数据库的搜索方法 ，这类方法假定由相似上下文包围的区域可能具有类似的内容，当可以找到与待修复图像具有足够的视觉相似性的样本图像时，这种方法非常有效，但当修复图像在样本数据库中没有很好地表示时，会出现错误修复，使得最终的修复效果不理想。 徐老师 ：图2是对云南剑川石宝山石窟壁画（反映太子游园场景）通过扩散方法修复的结果图，上图为原图，中间为标注图，下图为修复结果图，对于细小的裂纹，扩散的方法可以取得好的结果。
图2 通过基于扩散方法壁画修复示例图
徐老师 ：图3是对云南剑川石宝山石窟壁画（阿弥陀佛像）通过基于样本的方法修复的结果图，上图为原图，中间为标注图，下图为修复结果图，对于原图有的图像元素成分，可以取得好的结果。
图3 通过基于样本方法壁画修复示例图
秀秀 ：深度学习方法可能应用于壁画修复吗？ 强老师 ：深度学习方法（特别是卷积神经网络(CNN)），由于它的每个神经元仅响应一部分覆盖范围内的单元，使得CNN网络在大型图像处理中表现出色。CNN网络也被证明其有能力在高层上捕获图像的抽象信息，同时在纹理合成和图像风格转换中，一个训练好的CNN网络提取的图像特征可以作为目标函数的一部分使得一个生成网络生成的图片与目标图片在语义上更加相似。再加上生成式对抗网络(GAN)的广泛研究，通过对抗训练可以强化生成网络生成图像的视觉效果。 强老师 ：这些特点对于具体的壁画修复都非常需要，一方面我们期望能够修复符合场景语义的结果图像，另一方面也希望修复的结果中细节元素清晰。因此将这些基于深度学习的图像修复方法应用到具体的数字壁画修复，具有明显的应用价值。
论文标题 ：深度学习图像修复方法综述
论文作者 ：强振平,何丽波,陈旭,徐丹
引用格式 ：强振平, 何丽波, 陈旭, 徐丹. 深度学习图像修复方法综述[J]. 中国图象图形学报, 2019, 24(3): 447-463.
[DOI: 10.11834/jig.180408]
全文链接 ：
http://www.cjig.cn/html/jig/2019/3/weixin/20190312.htm
秀秀 ：请您介绍下本篇综述论文的看点~ 强老师 ：我们对近年来基于深度学习的图像修复方法和应用进行了梳理研究，并对基于深度学习的图像修复方法提出的理论依据进行了分析。进一步依据修复网络的结构对现有方法进行了分类，即分为基于卷积自编码网络结构的图像修复方法 、基于生成式对抗网络结构的图像修复方法 和基于循环神经网络结构的图像修复方法 。 强老师 ：此外，考虑到深度学习的图像修复还面临网络框架、参数选择、训练策略、模型评估等一系列的挑战，因此本文通过实验对现有各类方法存在的问题，对训练样本的要求，主要应用领域进行了总结，并给出了参考代码。
秀秀 ：深度学习应用于壁画修复存在的问题及发展前景~ 徐老师 ：通过前期的工作，我们发现基于深度学习的图像修复方法相对于传统的方法在图像修复中表现出来了明显的优势，但是还有一些重要的问题有待进一步解决，尤其是针对具体的应用，由于样本集和实际采集图像的差异，从而导致修复结果相对于标准数据集有较大的偏离，即现有方法的泛化能力还是不够。而针对壁画修复这类应用，本身数据集就非常小，所以数据增强处理，小样本学习方法的研究也非常重要。
论文作者简介
第一作者 强振平, 西南林业大学大数据与智能工程学院副教授, 博士，硕士生导师, 主要研究方向为图像处理、计算机视觉、人工智能等。E-mail: qzp@swfu.edu.cn
通信作者 徐丹, 云南大学信息学院教授, 云岭学者，博士生导师, 主要研究方向为计算机图形学、虚拟现实、图像处理、计算机视觉等。E-mail: danxu@ynu.edu.cn 云南大学信息学院视觉媒体计算实验室 长期从事图形绘制、图像融合、图像分析理解、目标检测跟踪、生物特征识别与视觉认知等领域的理论和方法研究，特别是面向云南少数民族文化，开展与视觉文化计算相关的研究和探索，包括云南重彩画、云南绝版套色版画、云南蜡染画等民族风情绘画的数字模拟合成，民族绘画的内涵提取和理解，民族文化遗产的数字化和数字修复等，形成了国内外有特色、有影响的研究方向。
（图片来源网络）
壁画虽美，修复却难，而深度学习常被称为具有万能的近似能力，希望这种能力为古代壁画的修复带来生机，为时间“打好补丁”，让远古的艺术瑰宝重新绽放光彩。
编辑：秀秀
指导/审核：梧桐君
前沿丨观点丨资讯丨独家
扫描下方二维码 关注学报公众号
中国图象图形学报 | 订阅号